Глава 2. Описание данных 

	Выделяют три основные области статистических методов обработки результатов наблюдений – описание данных, оценивание (характеристик и параметров распределений, регрессионных зависимостей и др.) и проверка статистических гипотез.  
	Описание данных – предварительный этап статистической обработки. Используемые при описании данных величины применяются при дальнейших этапах статистического анализа – оценивании и проверке гипотез, а также при решении иных задач, возникающих при применении вероятностно-статистических методов принятия решений, например, при статистическом контроле качества продукции и статистическом регулировании технологических процессов. 

2.1. Модели порождения данных

	Статистические данные – это результаты наблюдений (измерений, испытаний, опытов, анализов). Функции результатов наблюдений, используемые, в частности, для оценки параметров распределений и (или) для проверки статистических гипотез, называют «статистиками». (Для математиков добавим, что речь идет об измеримых функциях.) Если в вероятностной модели результаты наблюдений рассматриваются как случайные величины (или случайные элементы), то статистики, как функции случайных величин (элементов), сами являются случайными величинами (элементами). Статистики, являющиеся выборочными аналогами характеристик случайных величин (математического ожидания, медианы, дисперсии, моментов и др.) и используемые для оценивания этих характеристик, называют статистическими характеристиками.
	Виды выборок. Основополагающее понятие в вероятностно-статистических методах принятия решений – выборка – это 
1) набор наблюдаемых значений или 
2) множество объектов, отобранных из изучаемой совокупности. 
Например, единицы продукции, отобранные из контролируемой партии или потока продукции для контроля и принятия решений. Наблюдаемые значения обозначим x1, x2,…, xn, где n – объем выборки, т.е. число наблюдаемых значений, составляющих выборку. О втором виде выборок уже шла речь в главе 1 при рассмотрении гипергеометрического распределения, когда под выборкой понимался набор единиц продукции, отобранных из партии. Там же обсуждалась вероятностная модель случайной выборки.
	В вероятностной модели выборки первого типа наблюдаемые значения обычно рассматривают как реализацию независимых одинаково распределенных случайных величин . Считают, что полученные при наблюдениях конкретные значения x1, x2,…, xn соответствуют определенному элементарному событию , т.е.
.
	При повторных наблюдениях будут получены иные наблюдаемые значения, соответствующие другому элементарному событию . Цель обработки статистических данных – по результатам наблюдений, соответствующим элементарному событию , сделать выводы о вероятностной мере Р и результатах наблюдений при различных возможных .
	Для выборок второго вида отбор объектов может проводиться в несколько этапов. Например, для входного контроля сигарет могут сначала отбираться коробки, в отобранных коробках – блоки, в выбранных блоках – пачки, а в пачках – сигареты. Четыре ступени отбора. Выборка будет обладать иными свойствами, чем простая случайная выборка из совокупности сигарет.
	Частоты. Из приведенного выше определения математической статистики следует: описание статистических данных дается с помощью частот. Частота – это отношение числа Х наблюдаемых единиц, которые принимают заданное значение или лежат в заданном интервале, к общему числу наблюдений n, т.е. частота – это Х/n. (В более старой литературе иногда Х/n называется относительной частотой, а под частотой имеется в виду Х. В старой терминологии можно сказать, что относительная частота – это отношение частоты к общему числу наблюдений.) 
	Число Х имеет биномиальное распределение, задаваемое вероятностью р того, что случайная величина, с помощью которой моделируются результаты наблюдений, принимает заданное значение или лежит в заданном интервале, и общим числом наблюдений n. Из закона больших чисел (теорема Бернулли) следует, что 

при n→∞ (сходимость по вероятности), т.е. частота сходится к вероятности. Теорема Муавра-Лапласа позволяет уточнить скорость сходимости в этом предельном соотношении (см. главу 1).
	Детерминированный и модельно-вероятностный подходы. В статистических методах есть два подхода к исходным данным – детерминированный и модельно-вероятностный. В первом из них данные рассматриваются сами по себе, без попыток связать их с какой-либо более общей ситуацией. Например, при анализе данных о производственной деятельности конкретного предприятия за конкретный период времени подсчитывается процент брака по конкретным технологическим процессам, число работников на различных должностях, объем реализованной продукции по месяцам. К этой же категории данных относятся различные виды отчетности – бухгалтерская, налоговая, статистическая (для органов Росстата). Преимущество детерминированного подхода - отсутствие каких-либо дополнительных предположений о данных. Недостаток состоит в невозможности обоснованного переноса выводов с конкретной ситуации на другие, ей аналогичные. Например, на другие периоды времени или на другие предприятия. При детерминированном подходе невозможно также оценить погрешность рассчитанных характеристик. 
	Чтобы выйти за пределы конкретной ситуации, необходимо использовать модельно-вероятностный подход, согласно которому основой алгоритмов расчетов является вероятностная модель порождения данных. Конкретные данные рассматриваются как реализации случайных величин, векторов, более общо – элементов, т.е как значения задающих их функций, определенных на вероятностном пространстве, в конкретной точке (элементарном событии ω).
	Наиболее распространенная вероятностная модель порождения данных – это модель случайной выборки. Согласно этой модели данные x1, x2, … , xn рассматриваются как реализация независимых одинаково распределенных случайных элементов (величин, векторов, множеств и других объектов нечисловой природы) X1 = X1(ω), X2 = X2(ω), … , Xn = Xn(ω), т.е. x1= X1(ω0), x2 = X2(ω0), … , xn = Xn(ω0) при некотором ω0 из пространства элементарных событий Ω. Модель выборки обычно используется для описания результатов независимых наблюдений, измерений, анализов. опытов.
	В некоторых случаях используют более специальные модели порождения данных. Например, при проведении испытаний на надежность используют план испытаний, согласно которому испытания прекращаются через время Т. Это значит, что фиксируются только моменты отказа изделий, которые произошли до момента Т. Пусть x1, x2, … , xn – наработки на отказ n изделий. Статистику доступны только значения y1, y2, … , yn, где yj = xj при xj < T и yj = T при xj > T. Такая выборка, в которой часть описывающих реальное явление случайных величин заменена граничным значением, называется цензурированной. Иногда используются и более сложные модели порождения данных. Например, если аппаратурой не фиксируются значения, меньшие некоторого порога, то выборка не только цензурирована, но и состоит из случайного числа элементов. Бывают и процедуры, когда минимальный и максимальный элементы выборки отбрасываются, а остальные предоставляются статистику, и т.д.
	Параметрические и непараметрические модели случайной выборки. Рассмотрим ситуацию, когда элементы выборки – числа. Модель описывается функцией распределения элементов выборки. Можно ли что-либо сказать об этой функции?
	В учебных курсах по теории вероятностей и математической статистике часто рассматривают различные параметрические семейства распределений числовых случайных величин. А именно, изучают семейства нормальных распределений, логарифмически нормальных, экспоненциальных, гамма-распределений, распределений Вейбулла-Гнеденко и др. Все они зависят от одного, двух или трех параметров. Поэтому для полного описания распределения достаточно знать (или оценить по выборке) одно, два или три числа. Очень удобно. Поэтому широко развита и представлена в литературе параметрическая теория математической статистики, в которой предполагается, что распределения результатов наблюдений принадлежат тем или иным параметрическим семействам.
	К сожалению, параметрические семейства существуют лишь в головах авторов учебников по теории вероятностей и математической статистике. В реальной жизни их нет. Поэтому прикладная статистика использует в основном непараметрические методы, в которых распределения результатов наблюдений могут иметь произвольный вид. 
	В настоящем разделе на примере нормального распределения подробно обоснуем невозможность практического использования параметрических семейств для описания распределений конкретных данных. В главе 4.2 разобраны параметрические методы отбраковки резко выделяющихся наблюдений и продемонстрирована невозможность практического использования ряда методов параметрической статистики, ошибочность выводов, к которым они приводят. В главе 5.1 рассмотрены непараметрические методы доверительного оценивания основных характеристик числовых случайных величин - математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации. 
	К настоящему времени непараметрические методы полностью покрывают область задач, которые ранее решались с помощью параметрической статистики. Поэтому можно порекомендовать использовать только непараметрическую статистику. Однако в литературе много внимания уделяется параметрическим методам, поэтому игнорировать в настоящем учебнике параметрическую статистику признано нецелесообразным.
	Часто ли распределение результатов наблюдений является нормальным? Статистические модели применяют при изучении и оптимизации процессов маркетинга, управления предприятием и регионом, точности и стабильности технологических процессов. Их используют в задачах надежности, обеспечения безопасности, в том числе экологической, для описания функционирования технических устройств и объектов, при разработке организационных схем и т.д. При этом зачастую используют те или иные параметрические семейства распределений вероятностей. Наиболее популярно нормальное распределение. Используют также логарифмически нормальное распределение, экспоненциальное распределение, гамма-распределение, распределение Вейбулла-Гнеденко и т.д. 
	Очевидно, всегда необходимо проверять соответствие моделей реальности. Возникают два вопроса. Отличаются ли реальные распределения от используемых в модели? Насколько это отличие влияет на выводы? 
	На примере нормального распределения покажем, что реальные распределения практически всегда отличаются от включенных в классические параметрические семейства. Имеющиеся отклонения от заданных семейств делают неверными выводы, основанные на использовании этих семейств. Например, выводы об отбраковке резко отличающихся наблюдений (выбросов). 
	Есть ли основания априори предполагать нормальность результатов измерений? 
	Иногда утверждают, что в случае, когда погрешность измерения (или иная случайная величина) определяется в результате совокупного действия многих малых факторов, то в силу Центральной предельной теоремы (ЦПТ) теории вероятностей (см. главу 14 настоящего учебника) эта величина хорошо приближается (по распределению) нормальной случайной величиной. Такое утверждение справедливо, если малые факторы действуют аддитивно и независимо друг от друга. Если же они действуют мультипликативно, то в силу той же ЦПТ аппроксимировать надо логарифмически нормальным распределением. В прикладных задачах обосновать аддитивность, а не мультипликативность действия малых факторов обычно не удается. Если же зависимость имеет общий характер, не приводится к аддитивному или мультипликативному виду, а также нет оснований принимать модели, дающие экспоненциальное, Вейбулла-Гнеденко, гамма или иные распределения, то о распределении итоговой случайной величины практически ничего не известно, кроме внутриматематических свойств типа регулярности.
	Экспериментальное изучение распределений погрешностей. При обработке конкретных данных иногда считают, что погрешности измерений имеют нормальное распределение. На предположении нормальности построены классические модели регрессионного, дисперсионного, факторного анализов, метрологические модели, которые еще продолжают встречаться как в отечественной ноpмативно-технической документации, так и в международных стандартах. На то же предположение опираются модели расчетов максимально достигаемых уровней тех или иных характеристик, применяемые при проектировании систем обеспечения безопасности функционирования экономических структур, технических устройств и объектов. Однако теоретических оснований для такого предположения нет. Необходимо экспериментально изучать распределения погрешностей.
	Что же показывают результаты экспериментов? Сводка в монографии [1] позволяет утверждать, что в большинстве случаев распределение погрешностей измерений отличается от нормального. Так, в Машинно-электротехническом институте (г. Варна, Болгария) исследовано распределение погрешностей градуировки шкал аналоговых электроизмерительных приборов. Изучались приборы, изготовленные в Чехословакии, СССР и Болгарии. Закон распределения погрешностей оказался одним и тем же. Он имеет плотность

	Проанализированы данные о параметрах 219 фактических распределений погрешностей, исследованных разными авторами, при измерении как электрических, так и иных физических величин самыми разнообразными (электрическими) приборами. В результате оказалось, что 111 распределений, т.е. примерно 50% , принадлежат классу распределений с плотностью

где  - параметр степени (формы); 
b - параметр сдвига; 
 - параметр масштаба; 
 - гамма-функция от аргумента ;

(см. [1, с. 56]); 63 распределения, т.е. 30%, имеют плотности с плоской вершиной и пологими длинными спадами и не могут быть описаны как нормальные или, например, экспоненциальные. Оставшиеся 45 распределений оказались двухмодальными.
	В монографии [1] приведены результаты исследования законов распределения для различного рода погрешностей измерения - электромеханических приборов на кернах, электронных приборов для измерения температур и усилий, цифровых приборов с ручным уравновешиванием. Объем выборок экспериментальных данных для каждого экземпляра составлял 100-400 отсчетов. Оказалось, что 46 из 47 распределений значимо отличались от нормального. Исследована форма распределения погрешностей у 25 экземпляров цифровых вольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. 
	В лаборатории прикладной математики Тартуского государственного университета проанализировано более 2500 выборок из архива реальных статистических данных. В 92% гипотезу нормальности пришлось отвергнуть.
	Приведенные описания экспериментальных данных показывают, что погрешности измерений в большинстве случаев имеют распределения, отличные от нормальных. Это означает: большинство применений критерия Стьюдента, классического регрессионного анализа и других статистических методов, основанных на нормальной теории, строго говоря, не является обоснованным. Поскольку неверна лежащая в их основе аксиома нормальности распределений соответствующих случайных  величин.
	Очевидно, для оправдания или обоснованного изменения существующей практики анализа статистических данных требуется изучить свойства процедур анализа данных при «незаконном» применении. Изучение процедур отбраковки показало, что они крайне неустойчивы к отклонениям от нормальности, а потому применять их для обработки реальных данных нецелесообразно (см. главу 4.2); поэтому нельзя утверждать, что произвольно взятая процедура устойчива к отклонениям от нормальности.
	Иногда предлагают перед применением, например, критерия Стьюдента однородности двух выборок проверять нормальность. Хотя для этого имеется много критериев, но проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистик типа Стьюдента, так и с помощью непараметрических критериев). Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более, чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве экономических, технических, медико-биологических и других прикладных исследований число наблюдений существенно меньше. Особенно это справедливо для данных, используемых при изучении проблем, связанных с обеспечением безопасности функционирования экономических структур и технических объектов.
	ЦПТ и нормальность. Иногда пытаются использовать ЦПТ для приближения распределения погрешности к нормальному, включая в технологическую схему измерительного прибора специальные сумматоры. Оценим полезность этой меры. Пусть Z1 , Z2 ,…, Zk - независимые одинаково распределенные случайные величины с функцией распределения H = H(x) такие, что 

Рассмотрим

Показателем обеспечиваемой сумматором близости к нормальности является

Тогда

Правое неравенство в последнем соотношении вытекает из оценок константы в неравенстве Берри-Эссеена, полученном в статье [2], а левое - из примера в монографии [3, с.140-141]. Для нормального закона  =1,6, для равномерного  = 1,3, для двухточечного  =1 (это - нижняя граница для ). Следовательно, для обеспечения расстояния (в метрике Колмогорова) до нормального распределения не более 0,01 для «неудачных» распределений необходимо не менее k0 слагаемых, где

В обычно используемых сумматорах слагаемых значительно меньше.
	Сужая класс возможных распределений H, можно получить более быструю сходимость, но теория здесь еще не позволяет сформулировать практических рекомендаций. Кроме того, неясно, обеспечивает ли близость распределения элементов выборки к нормальному (в определенной метрике) также и близость распределений статистик, т.е. функций от элементов выборки. Речь идет о сравнении распределения статистики, построенной по случайным величинам, полученным суммированием, с распределением статистики, соответствующей нормальным результатам наблюдений. Видимо, для каждой конкретной статистики необходимы специальные теоретические исследования, В задачах отбраковки выбросов ответ: «Не обеспечивает» (см. раздел 4.2 ниже).
	Результат любого реального измерения записывается с помощью конечного числа десятичных знаков, обычно небольшого (2-5), так что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих сравнительно небольшое число значений. Нормальное распределение - лишь аппроксимация реального распределения. Например, данные конкретного исследования качества подшипников, приведенные в работе [4], принимают значения от 1,0 до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что в какой-то точке построенная по данным работы [4] функция распределения отличается от ближайшей функции нормального распределения не менее чем на 1/26, т.е. на 0,04. Кроме того, очевидно, что для нормального распределения случайной величины вероятность попасть в дискретное множество десятичных чисел с заданным числом знаков после запятой равна 0.
	Из сказанного выше следует: результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их можно лишь случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных. В других ситуациях нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация. Но никогда нет полного совпадения. Отсюда вытекает необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях (подобно тому, как это сделано в главе 5.2 для критерия Стьюдента). А также целесообразность разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.
	Опущенные здесь рассмотрения для других параметрических семейств приводят к аналогичным выводам. Итог можно сформулировать так. Распределения реальных данных практически никогда не входят в какое-либо конкретное параметрическое семейство. Реальные распределения всегда отличаются от тех, что включены в параметрические семейства. Отличия могут быть большими или малыми, но они всегда есть. 

2.2. Таблицы и диаграммы

	Исходные статистические данные могут быть достаточно обширными. В качестве примера приведем результаты экспертного опроса, проведенного Институтом высоких статистических технологий и эконометрики (табл. 2.1). В первом столбце приведены номера экспертов, в остальных четырех – четыре прогнозных значения, полученных от каждого эксперта. Отметим, что эксперт №28 не ответил на вопрос об инфляции. В таблицах реальных данных приходится сталкиваться с пропусками.
 
Таблица 2.1
Прогнозы экспертов на 8 декабря 1994 г. (сделаны 19.10.1994)
№ п/п	Курс доллара США, руб. 	Инфляция (%) за период прогноза	Цена батона белого хлеба, руб.	Цена 1 л молока, руб.	
(1)	(2)	(3)	(4)	(5)	
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33	4185
4270
3200
4000
3500
3800
3500
3300
4100
3560
4000
5200
4000
6000
4000
3400
3500
4200
3560
4300
4000
4500
4200
3900
5500
5000
5600
3900
4200
3680
4000
4600
4560	4,0
2,8
17,0
16,0
16,0
5,0
3,5
62,0
54,0
10,0
54,0
54,0
9,0
54,0
40,0
13,0
15,0
2,5
200,0
6,0
3,0
12,0
11,0
54,0
62,0
73,0
54,0
-
38,0
38,0
2,0
46,0
92,0	800
1028
760
950
820
1000
500
800
900
870
1000
1500
830
2000
950
750
1000
1000
940
950
1000
950
890
1000
1000
1000
1200
1500
950
850
840
1000
1300	1305
1322
755
1000
800
1000
1500
780
899
1050
1000
1500
1300
2000
1200
900
1250
1500
1200
1570
1100
1100
1100
1000
1400
1200
2000
1400
1100
1100
1100
1100
1400	

	Описание данных - это первичное сжатие информации с целью сделать ее более обозримой, легкой для восприятия. Самый древний способ – это составление различных таблиц, вторичных по отношению к таблицам исходных данных.
	Например, рассмотрим последний столбец табл.2.1. Для лучшего восприятия прогнозов экспертов о цене 1 л молока сгруппируем данные по интервалам, как это сделано в табл. 2.2.

Таблица 2.2
Прогнозируемая цена молока
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5
6
7
8
9
10	700 – 799
800 – 899
900 – 999
1000 – 1099
1100 – 1199
1200 – 1299
1300 – 1399
1400 – 1499
1500 – 1599
2000
Всего	2
2
1
5
7
4
3
3
4
2
33	

	Группировка данных в табл. 2.2 по 10 интервалам может показаться слишком дробной. Нетрудно объединить градации и получить, например, табл. 2.3.

Таблица 2.3
Прогнозируемая цена молока (крупные градации)
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5	700  – 999
1000 – 1299
1300 – 1599
2000
Всего	5
16
10
2
33	

	Сколько использовать градаций (т.е. строк в таблице)? Общих рекомендаций дать нельзя. Ответ зависит от цели статистического исследования, от структуры конкретных данных.
	Табличный материал может быть выражен в виде различных диаграмм, в том числе круговых и столбчатых. Несколько десятков лет назад были популярны гистограммы – столбчатые диаграммы, для которых интервалы группирования имеют одинаковую длину. 
	В настоящее время гистограммы рассматривают как устаревшие инструменты статистического анализа. Для описания массива данных рекомендуется использовать вариационные ряды, эмпирические функции распределения и – особенно настоятельно – непараметрические оценки плотности. 
 
2.3. Выборочные характеристики распределения

	Для описания данных применяют различные статистические характеристики. В качестве выборочной средней величины чаще всего используют выборочное среднее арифметическое, т.е. сумму значений рассматриваемой величины, полученных по результатам испытания выборки, деленную на ее объем:

где n – объем выборки; xi – результат измерения (испытания) i-ого элемента выборки.
	Другой вид выборочного среднего – выборочная медиана - определяется через порядковые статистики.
	Порядковые статистики – это члены вариационного ряда, который получается, если элементы выборки x1, x2,…, xn расположить в порядке неубывания:
х(1)<x(2)<…<x(k)<…<x(n).
	Пример 1. Для выборки x1 = 1, x2 = 7, x3 = 4, x4 = 2, x5  = 8, x6 = 0, x7 =5, x8 = 7 вариационный ряд имеет вид 0, 1, 2, 4, 5, 7, 7, 8, т.е. х(1) = 0 = x6, х(2) = 1 = x1, х(3) = 2 = x4, х(4) = 4 = x3, х(5) = 5 = x7, х(6) = х(7) = 7 = x2 = x8, х(8) = 8 = x5.
	В вариационном ряду элемент x(k) называется k-той порядковой статистикой. Порядковые статистики и функции от них широко используются в вероятностно-статистических методах принятия решений, в эконометрике и в других прикладных областях.
	Выборочная медиана  - результат наблюдения, занимающий центральное место в вариационном ряду, построенном по выборке с нечетным числом элементов, или полусумма двух результатов наблюдений, занимающих два центральных места в вариационном ряду, построенном по выборке с четным числом элементов. Таким образом, если объем выборки n – нечетное число, n = 2k+1, то медиана  = x(k+1), если же n – четное число, n = 2k, то медиана  = [x(k) + x(k+1)]/2, где x(k) и x(k+1) – порядковые статистики. 
	В качестве выборочных показателей рассеивания результатов наблюдений чаще всего используют выборочную дисперсию, выборочное среднее квадратическое отклонение и размах выборки. 
	Выборочная дисперсия s2 – это сумма квадратов отклонений выборочных результатов наблюдений от их среднего арифметического, деленная на объем выборки:  

Выборочное среднее квадратическое отклонение s – неотрицательный квадратный корень из дисперсии, т.е. 
	В некоторых литературных источниках выборочной дисперсией называют другую величину:

Она отличается от s2 постоянным множителем: 

Соответственно выборочным средним квадратическим отклонением в этих литературных источниках называют величину  Тогда, очевидно,

Различие в определениях приводит к различию в алгоритмах расчетов, правилах принятия решений и соответствующих таблицах. Поэтому при использовании тех или иных нормативно-технических и инструктивно-методических материалов, программных продуктов, таблиц необходимо обращать внимание на способ определения выборочных характеристик.
Выбор , а не s2, объясняется тем, что 

где Х – случайная величина, имеющая такое же распределение, как и результаты наблюдений. В терминах теории статистического оценивания это означает, что  - несмещенная оценка дисперсии. В то же время статистика s2 не является несмещенной оценкой дисперсии результатов наблюдений, поскольку

Однако у s2 есть другое свойство, оправдывающее использование этой статистики в качестве выборочного показателя рассеивания. 
	Для известных результатов наблюдений x1, x2,…, xn рассмотрим случайную величину У с распределением вероятностей 

и Р(У = х) = 0 для всех прочих х. Это распределение вероятностей называется эмпирическим. Тогда функция распределения У – это эмпирическая функция распределения, построенная по результатам наблюдений x1, x2,…, xn. Вычислим математическое ожидание и дисперсию случайной величины У:

Второе из этих равенств и является основанием для использования s2 в качестве выборочного показателя рассеивания.
	Математические ожидания выборочных средних квадратических отклонений М(s) и М(s0), вообще говоря, не равняются теоретическому среднему квадратическому отклонению σ. Например, если Х имеет нормальное распределение, объем выборки n = 3, то 

	Кроме перечисленных выше статистических характеристик, в качестве выборочного показателя рассеивания используют размах R – разность между n-й и первой порядковыми статистиками в выборке объема n, т.е. разность между наибольшим и наименьшим значениями в выборке: R = x(n) – x(1). 
В ряде вероятностно-статистических методов применяют и иные показатели рассеивания. В частности, в методах статистического регулирования процессов используют средний размах – среднее арифметическое размахов, полученных в определенном количестве выборок одинакового объема. Популярно и межквартильное расстояние, т.е. расстояние между выборочными квартилями x([0,75n]) и x([0,25n]) порядка 0,75 и 0,25 соответственно, где [0,75n] – целая часть числа 0,75n, а [0,25n] –целая часть числа 0,25n. 
	Подведем итоги. Целесообразно рассчитывать и приводить в документации статистического исследования в разделе «Описание данных» выборочные характеристики:
	- выборочное среднее арифметическое;
	- выборочную дисперсию;
	- выборочное среднее квадратическое отклонение;
	- выборочный коэффициент вариации ;
	- выборочную медиану;
	- минимум (первый член вариационного ряда);
	- максимум (последний член вариационного ряда);
	- размах;
	- моду (наиболее часто встречающееся значение) и амплитуду моды (число элементов выборки, равных моде);
	- верхний квартиль x([0,75n]);
	- нижний квартиль x([0,25n]);
	- межквартильное расстояние.
 
2.4. Эмпирическая функция распределения

	Чтобы от отдельных событий перейти к одновременному рассмотрению многих событий, используют накопленную частоту. Так называется отношение числа единиц, для которых результаты наблюдения меньше заданного значения, к общему числу наблюдений. Функция, которая выражает зависимость между значениями количественного признака и накопленной частотой, называется эмпирической функцией распределения. Итак, эмпирической функцией распределения Fn(x) называется доля элементов выборки, меньших x. Эмпирическая функция распределения содержит всю информацию о результатах наблюдений. Эмпирическая функция распределения - это функция введенного выше эмпирического распределения.
	Чтобы выразить эмпирическую функцию распределения не словами, а формулой, введем функцию с(х, у) двух переменных:

Случайные величины, моделирующие результаты наблюдений, обозначим . Тогда эмпирическая функция распределения Fn(x) имеет вид 

	Из закона больших чисел следует, что для каждого действительного числа х эмпирическая функция распределения Fn(x) сходится к функции распределения F(x) результатов наблюдений, т.е.
Fn(x) → F(x)   		(2.1)
при n → ∞. В.И. Гливенко (1897-1940) доказал в 1933 г. более сильное утверждение: сходимость в (2.1) равномерна по х, т.е. 
   	(2.2)
при n → ∞ (сходимость по вероятности).
	В (2.2) использовано обозначение sup (читается как «супремум»). Для функции g(x) под  понимают наименьшее из чисел a таких, что g(x)<a при всех x. Если функция g(x) достигает максимума в точке х0, то . В таком случае вместо sup пишут max. Хорошо известно, что не все функции достигают максимума.
	В том же 1933 г. А.Н.Колмогоров усилил результат В.И. Гливенко для непрерывных функций распределения F(x). Рассмотрим случайную величину

и ее функцию распределения

По теореме А.Н.Колмогорова

при каждом х, где К(х) – т.н. функция распределения Колмогорова.
	Рассматриваемая работа А.Н. Колмогорова породила одно из основных направлений математической статистики – т.н. непараметрическую статистику. И в настоящее время непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат широко используются. Они разработаны для проверки согласия с полностью известным теоретическим распределением, т.е. предназначены для проверки гипотезы . Основная идея критериев Колмогорова, омега-квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения. Аналитические выражения для предельных распределений статистик, расчетные формулы, таблицы распределений и критических значений широко распространены [5], поэтому не будем их приводить. 
	Непараметрическое оценивание функции распределения. По теореме Гливенко эмпирическая функция распределения Fn(x) является состоятельной оценкой функции распределения F(x). Если F(x) – непрерывная функция, то на основе теоремы Колмогорова доверительные границы для функции распределения F(x) задают в виде
(F(x))Н = max , (F(x))B = min ,
где k(γ,n) – квантиль порядка γ распределения статистики Колмогорова при объеме выборки n (напомним, что распределение этой статистики не зависит от F(x)).
	Правила определения оценок и доверительных границ иногда строятся на основе параметрического семейства распределений F(x;θ). При обработке реальных данных возникает вопрос – соответствуют ли эти данные принятой вероятностной модели? Т.е. статистической гипотезе о том, что результаты наблюдений имеют функцию распределения из семейства {F(x;θ), θΘ} при некотором θ = θ0? Такие гипотезы называют гипотезами согласия, а критерии их проверки – критериями согласия.
	Если истинное значение параметра θ = θ0 известно, функция распределения F(x;θ0) непрерывна, то для проверки гипотезы согласия часто применяют критерий Колмогорова, основанный на статистике

где Fn(x) – эмпирическая функция распределения. 
	Если истинное значение параметра θ0 неизвестно, например, при проверке гипотезы о нормальности распределения результатов наблюдения (т.е. при проверке принадлежности этого распределения к семейству нормальных распределений), то иногда используют статистику типа Колмогорова

Она отличается от статистики Колмогорова Dn тем, что вместо истинного значения параметра θ0 подставлена его оценка θ*. 
	Распределение статистики Dn(θ*) сильно отличается от распределения статистики Dn. В качестве примера рассмотрим проверку нормальности, когда θ = (m, σ2), а θ* = (, s2). Для этого случая квантили распределений статистик Dn и Dn(θ*) приведены в табл. 2.4 (см., например, [6]). Таким образом, квантили отличаются примерно в 1,5 раза.

Таблица 2.4
Квантили статистик Dn и Dn(θ*) при проверке нормальности
Значение функции распределения р	0,85	0,90	0,95	0,975	0,99	
Квантили порядка р для Dn 	1,138	1,224	1,358	1,480	1,626	
Квантили порядка р для Dn(θ*)	0,775	0,819	0,895	0,955	1,035	

2.5. Непараметрические оценки плотности

	Эмпирическая функция распределения – это состоятельная непараметрическая оценка функции распределения числовой случайной величины. А как оценить плотность? Если продифференцировать эмпирическую функцию распределения, то получим бесконечности в точках, соответствующих элементам выборки, и 0 во всех остальных. Ясно, что это не оценка плотности. 
	Как же действовать? Каждому элементу выборки соответствует в эмпирическом распределении вероятность 1/n, где n – объем выборки. Целесообразно эту вероятность не помещать в одну точку, а «размазать» вокруг нее, построив «холмик». Если «холмики» налегают друг на друга, то получаем положительную плотность на всей прямой. Чтобы получить состоятельную оценку плотности, необходимо выбирать ширину «холмика» в зависимости от объема выборки. При этом число «холмиков», покрывающих фиксированную точку, должно безгранично расти. Но одновременно доле таких «холмиков» следует убывать, поскольку покрывающие «холмики» должны быть порождены лишь ближайшими членами вариационного ряда. 
	Реализация описанной идеи привела к различным вариантам непараметрических оценок плотности. Основополагающей является работа члена-корреспондента АН СССР Н.В. Смирнова 1951 г. Вначале рассматривались непараметрические оценки плотности распределения числовых случайных величин и конечномерных случайных векторов. В 1980-х годах удалось сконструировать такие оценки в пространствах произвольной природы, а затем и для конкретных видов нечисловых данных [7]. 
	Чтобы определить понятие плотности, в пространстве Х должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р(А) для любого случайного события А. Плотность f(x), соответствующая мере  - это такая функция, что 

для любого случайного события А. Для случайных величин и векторов мера  - это объем множества А, в математических терминах - мера Лебега. 
	Как могут быть использованы непараметрические оценки плотности распределения вероятностей в пространствах нечисловой природы? Например, для решения задач классификации (диагностики, распознавания образов - см. главу 6.4). Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа k-средних или динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки. 
	Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в работе [8]. В частности, в задачах диагностики и кластер-анализа целесообразно использовать непараметрические ядерные оценки плотности типа Парзена - Розенблатта (этот вид оценок пространствах общего вида и его название впервые были введены в статье [8]):

 где К:  - так называемая ядерная функция, x1, x2, …, xn  X - выборка, по которой оценивается плотность, d(xi , x) - показатель различия (метрика, расстояние, мера близости) между элементом выборки xi  и точкой x, в которой оценивается плотность, последовательность hn  показателей размытости такова, что hn → 0 и nhn→ ∞ при , а  - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности fn(x) по мере  должен равняться 1). Ранее американские исследователи Парзен и Розенблатт использовали подобные статистики в случае  с d(xi , x) = |xi  - x|.
	В качестве ядерной функции распределения можно взять функцию, равную 1/2 на отрезке [-1; 1] и 0 вне этого отрезка. Или плотность стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Показателем различия d(xi , x) может служить обычное евклидово расстояние. Показатель размытости  при любом α из интервала (0; 1) удовлетворяет введенным выше условиям.
	Введенные описанным выше образом ядерные оценки плотности - частный случай так называемых линейных оценок, также впервые предложенных в работе [8]. В теоретическом плане они выделяются тем, что удается получать результаты такого же типа, что в классическом одномерном случае, но с помощью совсем иного математического аппарата.
	Свойства непараметрических ядерных оценок плотности. Рассмотрим выборку со значениями в некотором пространстве, в котором заданы показатель различия d и мера . Одна из основных идей рассматриваемого подхода - согласовать их между собой. А именно, на их основе построим новый показатель различия d1 , так называемый «естественный», в терминах которого проще формулируются свойства непараметрической оценки плотности. Для этого рассмотрим шары  радиуса t > 0 и их меры Fx(t) = (Lt(x)). Предположим, что Fx(t) как функция t при фиксированной точке x непрерывна и строго возрастает. Введем функцию d1(x,y)= Fx(d(x,y)). Это - монотонное преобразование показателя различия или расстояния, а потому d1(x,y) - также показатель различия (даже если d - метрика, для d1 неравенство треугольника может быть не выполнено). Другими словами, d1(x,y), как и d(x,y), можно рассматривать как показатель различия (меру близости) между x и y. 
	Для вновь введенного показателя различия d1(x,y) введем соответствующие шары . Поскольку обратная функция F -1x(t) определена однозначно, то 
,
где T = F -1x(t). Следовательно, справедлива цепочка равенств 
F1х(t) = (L1t(x)) = (LT(x)) = Fx(F -1x(t)) = t
(для всех тех значений параметра t, для которых определены все участвующие в записи математические объекты). 
 	Переход от d к d1 напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину  с непрерывной функцией распределения F(x) в случайную величину , равномерно распределенную на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d1= Fx(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку ограничиваемся изучением сходимости в отдельно взятой точке.
	Функцию d1(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [8] «естественным показателем различия» или «естественной метрикой». В случае конечномерного пространства Rk и евклидовой метрики d имеем d1(x,y) = ck dk(x,y), где ck  - объем шара единичного радиуса в Rk .
	Поскольку можно записать, что 
,
где 
,
 то переход от одного показателя различия к другому, т.е. от d к d1, соответствует переходу от одной ядерной функции к другой, т.е. от K к K1. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.
	Теорема 2.1. Пусть d - естественная метрика, плотность f непрерывна в точке x и ограничена на всем пространстве X , причем f(x) > 0, ядерная функция K(u) удовлетворяет простым условиям регулярности
.
Тогда n(hn ,x) = nhn, оценка fn(x) является состоятельной, т.е. fn(x)  f(x) по вероятности при n и, кроме того,

	Теорема 2.1 доказывается методами, развитыми в работе [8]. Однако остается открытым вопрос о скорости сходимости ядерных оценок, в частности, о поведении величины n = M(fn(x)-f(x))2 - среднего квадрата ошибки,  и об оптимальном выборе показателей размытости hn . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X() со значениями в X рассмотрим т.н. круговое распределение G(x,t) = P{d(X(), x)<t} и круговую плотность g(x,t)= G't(x,t).
	Теорема 2.2. Пусть ядерная функция K(u) непрерывна и финитна, т.е. существует число E такое, что K(u) = 0 при u > E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором k, причем остаточный член равномерно ограничен на [0, hE]. Пусть

Тогда

	Доказательство теоремы 2.2 проводится с помощью разработанной в нечисловой статистике математической техники, образцы которой представлены, в частности, в работе [8]. Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина n достигает минимума, равного при  Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма частного случая прямой X = R1 . Для уменьшения смещения оценки приходится применять знакопеременные ядра K(u).
	Непараметрические оценки плотности лучше, чем гистограммы, отражают эмпирическое распределение. Однако для расчета таких  оценок необходимо использование вычислительной техники. Программная реализация описания статистических данных с помощью непараметрических оценок плотности включена в ряд программных продуктов по статистическим методам. Примерами являются диалоговая система анализа данных ДИСАН и пакет программ анализа данных ППАНД [9], разработанные под научным руководством автора настоящего учебника. 

Литература 

1. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с. 
2. Шевцова И.Г. Уточнение абсолютной константы в классическом неравенстве Берри-Эссеена. – Статистические методы оценивания и проверки гипотез: межвузовский сборник научных трудов / Пермский государственный университет. – Пермь, 2008. – С.159 – 168.
3. Петров В.В. Суммы независимых случайных величин.  - М.: Наука, 1972. - 416 с.
4. Егорова Л.А., Харитонов Ю.С., Соколовская Л.В. О применении непараметрического Х-критерия Ван-дер-Вардена при статистической обработке результатов наблюдений // Заводская лаборатория. 1976. Т.42, № 11. С.1237-1237. 
5. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).
6. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. 1985. Т.51. No.1. С.60-62.
7. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
8. Орлов А.И. Непараметрические оценки плотности в топологических пространствах. – В сб.: Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. - С. 12-40. 
9. Пакет программ анализа данных «ППАНД». Учебное пособие / Орлов А.И., Легостаева И.Л. и еще 9 соавторов. - М.: Сотрудничающий центр ВОЗ по профессиональной гигиене, 1990. - 93 с. 

Контрольные вопросы и задачи
 
1. Часто ли результаты измерений имеют нормальное распределение?
2. По выборке фактических данных о величине годового дохода (в тыс. долл.), взятых на конец 1970-х гг. (США), постройте вариационный ряд, гистограмму (группируя данные по 6-ти равным интервалам); определить выборочные среднее арифметическое, медиану и моду:
2,0; 13,4; 2,2; 6,7; 11,1; 10,0; 2,6; 12,9; 10,5; 9,2; 11,1;
14,0; 26,0; 17,5; 7,2; 18,7; 9,9; 7,6; 11,7;11,3; 6,5.
3. Дано распределение по градациям (табл. 2.5) почасовой зарплаты 303 рабочих, занятых в промышленности (fi - число рабочих, имеющих почасовую зарплату xi). Постройте эмпирическую функцию распределения, найти выборочные медиану, моду и среднее арифметическое. 

Таблица 2.5
Распределение рабочих по ставкам почасовой оплаты
xi	2,5	2,6	2,7	2,8	2,9	3,0	3,1	3,2	3,3	3,4	
fi	10	25	41	74	58	34	17	14	11	3	

4. Как связаны эмпирическое распределение и эмпирическая функция распределения?
5. Можно ли проверять нормальность распределения с помощью критерия согласия Колмогорова?
6. Приведите конкретные примеры непараметрических оценок плотности. 
7. Почему описание числовых данных с помощью непараметрических оценок плотности предпочтительнее их описания с помощью гистограмм? 

Темы докладов, рефератов, исследовательских работ

1. Сравнение непараметрических и параметрических подходов к анализу статистических данных.
2. Различные виды статистических таблиц.
3. Методы наглядного представления статистических данных.
4. Система выборочных характеристик распределения. 
5. Проведите описание данных, приведенных в табл. 2.1 (раздел 2.2) в столбцах (2), (3) и (4). Постройте таблицы (типа табл. 2.2 и 2.3 там же), рассчитайте выборочные характеристики.
6. Аналоги эмпирической функции распределения.
7. Методы изучения асимптотических распределений статистик типа Колмогорова.
8. Ядерные непараметрические оценки плотности и оценки, основанные на разложении плотности в ряд по базисным функциям.
9. Непараметрические оценки плотности в непрерывных и дискретных пространствах.